Information-Aware KV Cache Compression for Long Reasoning
信息感知的 KV 缓存压缩用于长推理
🧭 LLM 推理优化 · 熵感知 KV 压缩
Shanghai Jiao Tong University · University of Edinburgh
提出熵感知的 KV 缓存压缩框架 InfoKV，结合预测不确定性与注意力得分，提升长推理效率。
📌 工作参考价值（4 点）
- 长对话/文档推理的部署加速：在电商搜索推荐系统的多轮助手、售后长文档分析等场景，可直接用 InfoKV 压缩 KV 缓存，减少显存占用与解码延迟，无需重新训练模型。
- Agent 长期记忆的高效管理：Agent 在维护对话历史或用户行为序列时，利用预测不确定性筛选对远期推理关键的信息 token，既保留关键上下文又控制缓存大小，提升持续交互的响应速度。
- 混合重要性评估范式：将 token 级熵信号与传统的注意力权重结合，是一种低成本、即插即用的重要性评分增强方式，可迁移到其它需要上下文剪枝的 LLM 应用中（如 RAG 中的长文档分块选择）。
- 解码阶段动态压缩：InfoKV 在解码阶段同样有效，适合流式生成时不断增长的 KV 缓存管理，可降低线上长时生成过程的尾部延迟。